这项工作提出了基于眼闪烁频率的远程关注水平估计的可行性研究。我们首先提出了一种基于卷积神经网络（CNNS）的眼睛闪烁检测系统，对相关工程非常竞争。使用此探测器，我们通过在线会话期间通过实验评估眼睛眨眼率与学生的注意力水平之间的关系。实验框架是使用公共多模式数据库进行的用于眼睛眨眼检测和称为Mebal的注意力水平估计，包括来自38名学生的数据和倍数采集传感器，特别是i）提供时间信号的脑电图（EEG）频带从学生的认知信息和ii）RGB和NIR相机捕捉学生面部姿势。实现的结果表明眼睛闪烁频率与关注水平之间的反比相关性。在我们所提出的方法中使用该关系，称为ALEBK，用于估计注意力水平作为眼睛闪烁频率的倒数。我们的成果开设了新的研究线，以介绍这种技术的关注水平估计，以及这种行为生物识别基于面部分析的其他应用。
translated by 谷歌翻译
Many visualization techniques have been created to help explain the behavior of convolutional neural networks (CNNs), but they largely consist of static diagrams that convey limited information. Interactive visualizations can provide more rich insights and allow users to more easily explore a model's behavior; however, they are typically not easily reusable and are specific to a particular model. We introduce Visual Feature Search, a novel interactive visualization that is generalizable to any CNN and can easily be incorporated into a researcher's workflow. Our tool allows a user to highlight an image region and search for images from a given dataset with the most similar CNN features. It supports searching through large image datasets with an efficient cache-based search implementation. We demonstrate how our tool elucidates different aspects of model behavior by performing experiments on supervised, self-supervised, and human-edited CNNs. We also release a portable Python library and several IPython notebooks to enable researchers to easily use our tool in their own experiments. Our code can be found at https://github.com/lookingglasslab/VisualFeatureSearch.
translated by 谷歌翻译
Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.
translated by 谷歌翻译
使用计算机视觉对间接费用的分析是一个问题，在学术文献中受到了很大的关注。在这个领域运行的大多数技术都非常专业，需要大型数据集的昂贵手动注释。这些问题通过开发更通用的框架来解决这些问题，并结合了表示学习的进步，该框架可以更灵活地分析具有有限标记数据的新图像类别。首先，根据动量对比机制创建了未标记的空中图像数据集的强大表示。随后，通过构建5个标记图像的准确分类器来专门用于不同的任务。从6000万个未标记的图像中，成功的低水平检测城市基础设施进化，体现了我们推进定量城市研究的巨大潜力。
translated by 谷歌翻译
基于概念的解释性方法旨在使用一组预定义的语义概念来解释深度神经网络模型的预测。这些方法在新的“探针”数据集上评估了训练有素的模型，并将模型预测与该数据集中标记的视觉概念相关联。尽管他们受欢迎，但他们的局限性并未被文献所理解和阐明。在这项工作中，我们分析了基于概念的解释中的三个常见因素。首先，选择探针数据集对生成的解释有深远的影响。我们的分析表明，不同的探针数据集可能会导致非常不同的解释，并表明这些解释在探针数据集之外不可概括。其次，我们发现探针数据集中的概念通常比他们声称要解释的课程更不太明显，更难学习，这使解释的正确性提出了质疑。我们认为，仅在基于概念的解释中才能使用视觉上的显着概念。最后，尽管现有方法使用了数百甚至数千个概念，但我们的人类研究揭示了32个或更少的概念更严格的上限，除此之外，这些解释实际上不太有用。我们对基于概念的解释性方法的未来发展和分析提出建议。可以在\ url {https://github.com/princetonvisualai/overlookedfactors}找到我们的分析和用户界面的代码。
translated by 谷歌翻译
Tree Ensembles可以非常适合黑盒优化任务，例如算法调整和神经体系结构搜索，因为它们在几乎没有手动调整的情况下实现了良好的预测性能，自然可以处理离散的功能空间，并且对培训中的异常值相对不敏感数据。在使用树的组合进行黑盒优化方面面临的两个众所周知的挑战是（i）有效地量化模型的不确定性，以进行探索，以及（ii）优化在零件的恒定采集函数上。为了同时解决这两个点，我们建议在获得模型方差估计之前使用树的内核解释为高斯过程，并为采集函数开发兼容的优化公式。后者进一步使我们能够通过考虑工程设置中的域知识和建模搜索空间对称性，例如神经体系结构搜索中的层次结构关系，从而无缝整合已知约束，以提高采样效率。我们的框架以及最先进的方法以及对连续/离散功能的不受限制的黑框优化，并且优于结合混合变量特征空间和已知输入约束的问题的竞争方法。
translated by 谷歌翻译
机器学习（ML）是人工智能（AI）的子场，其放射学中的应用正在以不断加速的速度增长。研究最多的ML应用程序是图像的自动解释。但是，可以将自然语言处理（NLP）与文本解释任务组合的ML结合使用，在放射学中也具有许多潜在的应用。一种这样的应用是放射学原始胶体的自动化，涉及解释临床放射学转介并选择适当的成像技术。这是一项必不可少的任务，可确保执行正确的成像。但是，放射科医生必须将专门用于原始胶片的时间进行报告，与推荐人或教学进行报告，交流。迄今为止，很少有使用临床文本自动选择协议选择的ML模型的出版物。本文回顾了该领域的现有文献。参考机器学习公约建议的最佳实践对已发布模型进行系统评估。讨论了在临床环境中实施自动质胶的进展。
translated by 谷歌翻译
已知性别偏见存在于大规模的视觉数据集中，并且可以在下游模型中反映甚至扩大。许多先前的作品通常通过尝试从图像中删除性别表达信息来减轻性别偏见。为了理解这些方法的可行性和实用性，我们研究了大规模视觉数据集中存在的$ \ textit {gengender伪像} $。我们将$ \ textit {性别伪像} $定义为与性别相关的视觉提示，专门针对那些由现代图像分类器学习并具有可解释的人类推论的线索。通过我们的分析，我们发现性别伪像在可可和开放型数据集中无处不在，从低级信息（例如，颜色通道的平均值）到图像的高级组成（例如姿势和姿势和姿势，，，，，，，，，地和图像的平均值），无处不在（例如，姿势和姿势，姿势和姿势，，，姿势和姿势，是姿势和姿势，是姿势和姿势，是姿势和姿势的平均值）。人的位置）。鉴于性别文物的流行，我们声称试图从此类数据集中删除性别文物的尝试是不可行的。取而代之的是，责任在于研究人员和从业人员意识到数据集中图像的分布是高度性别的，因此开发了对各组之间这些分配变化的强大方法。
translated by 谷歌翻译
在过去的十年中，深度学习模型在机器学习的不同领域取得了巨大的成功。但是，这些模型的大小和复杂性使它们难以理解。为了使它们更容易解释，最近的一些作品着重于通过人类解剖的语义属性来解释深神网络的部分。但是，仅使用语义属性完全解释复杂的模型可能是不可能的。在这项工作中，我们建议使用一小部分无法解释的功能来增强这些属性。具体而言，我们开发了一个新颖的解释框架（通过标记和未标记分解的解释），将模型的预测分解为两个部分：一个可以通过语义属性的线性组合来解释，而另一部分则取决于未解释的功能。 。通过识别后者，我们能够分析模型的“无法解释的”部分，从而了解模型使用的信息。我们表明，一组未标记的功能可以推广到具有相同功能空间的多种型号，并将我们的作品与两种流行的面向属性的方法，可解释的基础分解和概念瓶颈进行比较，并讨论Elude提供的其他见解。
translated by 谷歌翻译
通过在未标记的目标域中应用良好的模型，通过对标记的源域的监督应用了良好的模型，已经通过对未标记的目标域应用了良好的模型，对无监督的域适应（UDA）进行了大量探索，以减轻源和目标域之间的域变化。然而，最近的文献表明，在存在重大领域变化的情况下，性能仍然远非令人满意。但是，由于绩效的实质性增长，划定一些目标样本通常是易于管理的，尤其是值得的。受此启发的启发，我们旨在开发半监督域的适应性（SSDA）进行医学图像分割，这在很大程度上没有被置于脑海中。因此，除了以统一的方式使用未标记的目标数据外，我们建议利用标记的源和目标域数据。具体而言，我们提出了一种新型的不对称共同训练（ACT）框架，以整合这些子集并避免源域数据的统治。遵循分歧和纠纷策略，我们将SSDA的标签监督分为两个不对称的子任务，包括半监督学习（SSL）和UDA，并利用两个细分市场的不同知识来考虑在两个部分之间的区别，以考虑到不同的知识。来源和目标标签监督。然后，在两个模块中学习的知识与ACT自适应地整合，通过基于置信度的伪标签进行迭代教学。此外，伪标签噪声与指数混合衰减方案可以很好地控制，以进行平滑传播。使用BRATS18数据库进行跨模式脑肿瘤MRI分割任务的实验表明，即使标记有限的目标样本，ACT也对UDA和最先进的SSDA方法产生了明显的改进，并接近了受监督的联合训练的“上限” 。
translated by 谷歌翻译